You Know What I Mean: A Benchmark for Agentic Conversational Reference Grounding
《你知道我的意思：面向智能体对话式引用消解的基准》
🧭 Agent 多工具引用消解基准 ★ 深度解读
Bar-Ilan University · Allen Institute for AI
提出 CoRG 对话引用消解任务和 REPOREF 基准，最优 LLM 智能体仅 67% 成功率
📌 工作参考价值（4 点）
- 对客服/导购 Agent：把“用户说昨天看的那款”“活动页那个券”这类间接指代建模为多步工具搜索，而不是直接 embedding 召回；把候选发现和最终选择分开诊断。论文显示 70–92% 失败发生在候选没被 surface，所以优先投入查询改写、时间/作者/类目过滤等探索策略，而不是只优化 ranking 模型。
- 数据构建可复用 natural masking：从含商品 ID/URL 的真实会话中，用 LLM 把显式链接改写成自然间接表达，再用 identifiability/ambiguity filter 筛出可唯一定位样本；适合低成本构造测试集或训练数据。
- 工具/API 设计：保留只读、按平台对象组织的搜索与元数据工具，支持按时间/作者/类型过滤；给 agent 预算 B≈6 可能获得大部分收益（B=1→B=6 从 23% 到 64%），再往上成本高但增益有限。生产环境可设 6–10 次调用上限。
- 诊断 bucket 值得迁移：区分 surface mismatch、competitive alternatives、sparse evidence、commit-level（或 SKU/SPU/活动商品级）等，定位自己 Agent 的失败集中区；对低文本显著性的目标（commit 或具体 SKU 变体），需额外文件/属性/历史 diff 校验。